Credit Where It Matters: Dependency-Aware Policy Optimization for Terminal Agents
依赖感知的终端智能体策略优化
🧭 终端 Agent · 依赖感知信用分配
Southeast University · Huawei Noah's Ark Lab
提出 DepGPO，用命令间读写依赖图反向追踪，把优势分配到真正影响结果的步骤
📌 工作参考价值（4 点）
- 对多步 Agent 业务（如推荐 Agent 先检索后排序再生成文案），可以借鉴依赖图思路：记录中间工具调用的读写资源，从最终业务指标反向追踪哪些调用真正影响了结果，再做细粒度 credit assignment，减少无关步骤的梯度噪声。
- 训练 LLM Agent 时，trajectory-level advantage 会平均分配到所有 step，导致无关操作也获得信号；可以按依赖相关性重分配 advantage，只强化对最终 verifier 关注资源有贡献的 write/read 步骤，提升样本效率与训练稳定性。
- 工程实现上只需保存 execution trace 并解析命令间文件/变量读写关系，成本较低；在终端、代码或工具调用类 Agent 的 RL 训练中易于落地。
- 对电商搜索推荐中“多轮改写-召回-排序”的 Agent 链路，可以类比为命令依赖图，识别哪些改写或过滤动作对最终成交/点击有实际贡献，后续可用于诊断或弱监督信号设计。